Phạm Đình Tụng sinh ngày 20 tháng 5 năm 1919 trong một gia đình Công giáo làm nghề nông tại thôn Cầu Mễ, xã Yên Thắng, huyện Yên Mô, tỉnh Ninh Bình, thuộc giáo xứ Quảng Nạp, Giáo phận Phát Diệm. Thân phụ ông là ông Phêrô Phạm Văn Hiến, một người thông thạo chữ quốc ngữ và chữ Nho nên giữ chức Phó lý trong làng. Thân mẫu ông là bà Anna Nguyễn Thị Bống vốn hiền lành, có lòng thương người.[3][4]

Lên sáu tuổi (1925), cậu bé Phạm Đình Tụng nhập học tiểu học tại trường làng. Chỉ hai năm sau đó, cha nuôi cậu là linh mục Phêrô Phạm Bá Trực đưa lên học tại giáo xứ Kẻ Sét, Hà Nội. Đến năm 1929, cậu bé Phạm Đình Tụng may mắn đậu vớt và được nhập học Trường Tập Hà Nội.[3] Nhắc nhớ chi tiết về vấn đề gia nhập trường tập của cậu bé Tụng, giám mục Phaolô Nguyễn Văn Hòa có lời kể chi tiết:[5]

Năm 1929, Tràng (Trường) tập được thiết lập tại Hà nội, tọa lạc tại chính cơ sở của Ðại chủng viện ngày nay. Ðầu niên khóa 1931 – 1932, cũng như mọi năm, Tràng (Trường) tập tổ chức thi tuyển để chọn học sinh vào lớp mới với con số tối đa khoảng trên 30 em. Lần đó, chú Phaolô Phạm Ðình Tụng bị lọt sổ, chỉ suýt nữa trúng tuyển, có nghĩa là bị trượt, bị rớt. Nhưng chú vui vẻ về lại xứ Khoan Vĩ với cha nghĩa phụ Phêrô Phạm Bá Trực. Bỗng mấy ngày sau, một tin vui đưa tới, chú lại nhận được giấy gọi từ cha Décréaux, Bề trên Tràng tập gửi về Khoan Vĩ, gọi chú Tụng lên Tràng tập nhập lớp mới, vì có một chú, tuy đã trúng tuyển nhưng bị bệnh không thể tiếp tục học được phải rút lui, nên chú Tụng được gọi lên lấp vào chỗ trống. Chú Tụng mừng quá chừng, khi được đậu vớt và đã rất chăm chỉ học tập.

Chỉ sau hai năm nhập học Trường Tập, Phạm Đình Tụng là người đầu tiên thi đậu bằng sơ học yếu lược (Certificat d'étude Primaire)[4] và được tuyển vào Tiểu Chủng viện Hoàng Nguyên, Hà Đông.[3] Trong những năm ở Tiểu chủng viện, Phạm Đình Tụng là một học sinh gương mẫu, luôn đứng đầu lớp về đời sống đạo đức, kỉ luật...[4] Sau khi tốt nghiệp Tiểu Chủng viện năm 1939, chủng sinh Tụng được cử đi phục vụ tại giáo xứ Xuy Xá, thuộc huyện Mỹ Đức, tỉnh Hà Đông.

Năm 1940, chủng sinh Phạm Đình Tụng theo học tại Đại Chủng viện Liễu Giai, Hà Nội. Năm 1942, cậu được bổ nhiệm đến phục vụ tại giáo xứ Khoan Vĩ, thuộc huyện Lý Nhân, tỉnh Hà Nam, là nơi Linh mục Phêrô Phạm Bá Trực đang làm linh mục chánh xứ. Sau một năm tại Khoan Vĩ, chủng sinh Phạm Đình Tụng tiếp tục con đường tu học bằng việc trở về Đại chủng viện tiếp tục tu học.[3]

Năm 1945, Cách mạng tháng Tám nổ ra, chủng sinh Phạm Đình Tụng tạm hoãn việc học do Đại chủng viện Liễu Giai tạm ngưng hoạt động. Hơn một năm sau đó, tháng 9 năm 1946, Đại Chủng viện Liễu Giai tái mở cửa, chủng sinh Tụng quay trở lại Chủng viện học tập. Thời gian quay về học tập ngắn ngủi của chủng sinh Phạm Đình Tụng chỉ 3 tháng, vì ngày 19 tháng 12 năm 1946, chiến tranh bùng nổ, Đại Chủng viện bị quân Pháp trưng dụng, một lần nữa phải ngưng hoạt động. Mãi đến năm 1948, chủng sinh Phạm Đình Tụng mới có thể tiếp tục học để hoàn tất chương trình thần học tại Học viện Dòng Chúa Cứu Thế tại Thái Hà, Hà Nội. Một năm sau, Đại Chủng viện Hà Nội mới được thành lập lại ở số 40 Nhà Chung, cậu chuyển về học tại đây.[3]